基于用法的保险已成为车辆保险的新标准；因此，找到使用保险人的驾驶数据的有效方法很重要。在车辆的行程摘要中应用异常检测，我们开发了一种方法，允许为每辆车辆得出“常规”和“特殊性”异常轮廓。为此，使用每辆车辆进行的每次旅行的异常检测算法来计算常规和特殊性异常得分。与相关车辆进行的其他旅行相比，前者测量了旅行的异常程度，而后者则与任何车辆进行的旅行相比，衡量了其异常程度。所得的异常得分向量用作常规和特殊性曲线。然后从这些配置文件中提取功能，我们为其研究索赔分类框架中的预测能力。使用真实数据，我们发现从车辆的特殊性概况提取的功能改善了分类。

Multi-lingual language models (LM), such as mBERT, XLM-R, mT5, mBART, have been remarkably successful in enabling natural language tasks in low-resource languages through cross-lingual transfer from high-resource ones. In this work, we try to better understand how such models, specifically mT5, transfer *any* linguistic and semantic knowledge across languages, even though no explicit cross-lingual signals are provided during pre-training. Rather, only unannotated texts from each language are presented to the model separately and independently of one another, and the model appears to implicitly learn cross-lingual connections. This raises several questions that motivate our study, such as: Are the cross-lingual connections between every language pair equally strong? What properties of source and target language impact the strength of cross-lingual transfer? Can we quantify the impact of those properties on the cross-lingual transfer? In our investigation, we analyze a pre-trained mT5 to discover the attributes of cross-lingual connections learned by the model. Through a statistical interpretation framework over 90 language pairs across three tasks, we show that transfer performance can be modeled by a few linguistic and data-derived features. These observations enable us to interpret cross-lingual understanding of the mT5 model. Through these observations, one can favorably choose the best source language for a task, and can anticipate its training data demands. A key finding of this work is that similarity of syntax, morphology and phonology are good predictors of cross-lingual transfer, significantly more than just the lexical similarity of languages. For a given language, we are able to predict zero-shot performance, that increases on a logarithmic scale with the number of few-shot target language data points.

Neural networks can be trained to solve regression problems by using gradient-based methods to minimize the square loss. However, practitioners often prefer to reformulate regression as a classification problem, observing that training on the cross entropy loss results in better performance. By focusing on two-layer ReLU networks, which can be fully characterized by measures over their feature space, we explore how the implicit bias induced by gradient-based optimization could partly explain the above phenomenon. We provide theoretical evidence that the regression formulation yields a measure whose support can differ greatly from that for classification, in the case of one-dimensional data. Our proposed optimal supports correspond directly to the features learned by the input layer of the network. The different nature of these supports sheds light on possible optimization difficulties the square loss could encounter during training, and we present empirical results illustrating this phenomenon.

本文研究了鳞状高斯分布（NC-MSG）的非中心混合物的统计模型。使用与此分布相关的Fisher-Rao信息几何形状，我们得出了Riemannian梯度下降算法。该算法用于两个最小化问题。第一个是最小化正规化对数可能性（NLL）。后者使白色高斯分布与NC-MSG之间的权衡。给出了正则化的条件，以便在没有样本上的假设的情况下保证了该问题的最低限度。然后，得出了两个NC-MSG之间的Kullback-Leibler（KL）差异。这种差异使我们能够定义一个最小化问题，以计算几个NC-MSG的质量中心。提出的Riemannian梯度下降算法被利用以解决第二个最小化问题。数值实验表明了这两个问题的良好性能和riemannian梯度下降的速度。最后，实施了最接近的质心分类器，利用KL Divergence及其相关的质量中心。该分类器应用于大型数据集Breizhcrops，显示出良好的精度以及对测试集的刚性转换的稳健性。

网络威胁情报（CTI）共享是减少攻击者和捍卫者之间信息不对称的重要活动。但是，由于数据共享和机密性之间的紧张关系，这项活动带来了挑战，这导致信息保留通常会导致自由骑士问题。因此，共享的信息仅代表冰山一角。当前的文献假设访问包含所有信息的集中数据库，但是由于上述张力，这并不总是可行的。这会导致不平衡或不完整的数据集，需要使用技术扩展它们。我们展示了这些技术如何导致结果和误导性能期望。我们提出了一个新颖的框架，用于从分布式数据中提取有关事件，漏洞和妥协指标的分布式数据，并与恶意软件信息共享平台（MISP）一起证明其在几种实际情况下的使用。提出和讨论了CTI共享的政策影响。拟议的系统依赖于隐私增强技术和联合处理的有效组合。这使组织能够控制其CTI，并最大程度地减少暴露或泄漏的风险，同时为共享的好处，更准确和代表性的结果以及更有效的预测性和预防性防御能力。

对于具有客户服务的公司，其对话数据中的映射意图对于基于自然语言理解（NLU）构建应用程序至关重要。但是，尚无既定的自动化技术来收集嘈杂的在线聊天或语音成绩单中的意图。简单的聚类方法不适合意图对话。为了解决这项意图景观任务，我们提出了一条无监督的管道，从现实世界对话中提取意图和分类。我们的管道地雷意向跨候选者具有提取性问题的电气模型，并利用句子的嵌入来应用低级密度聚类，然后是顶级分层聚类。我们的结果表明，在Squad2数据集上微调的Electra大型模型的概括能力以了解对话。有了正确的提示问题，该模型实现了对意图的语言验证率超过85％。我们此外，从多道数据集中重建了五个域的意图方案，平均召回率为94.3％。

设计在边缘硬件上运行的深神经网络（DNN）仍然是一个挑战。社区已经采用了标准设计来促进神经网络模型的部署。但是，并不是很强调适应网络拓扑以适合硬件约束。在本文中，我们适应了移动硬件平台MobilenetV2的最广泛使用的架构之一，并研究了更改其拓扑结构并应用后培训后量化的影响。我们讨论了改编和模型在嵌入式硬件平台上进行面部检测的影响。

我们表明，LSTM和统一进化的复发神经网络（URN）都可以在两种类型的句法模式上实现令人鼓舞的准确性：无上下文的长距离一致性和轻微的上下文敏感的交叉序列依赖性。这项工作扩展了有关深层无上下文的长距离依赖性的最新实验，结果相似。URN与LSTM的不同之处在于它们避免了非线性激活函数，并且它们将矩阵乘法应用于编码为单位矩阵的单词嵌入。这使他们可以将所有信息保留在任意距离上的输入字符串中。这也使他们满足严格的组成性。在应用于NLP的深度学习中寻找可解释的模型时，URN构成了重大进步。

细菌感染负责全球高死亡率。感染潜在的抗菌素耐药性，多方面的患者的临床状况会阻碍正确选择抗生素治疗。随机临床试验提供了平均治疗效果估计值，但对于治疗选择的风险分层和优化，即个性化治疗效果（ITE）并不理想。在这里，我们利用了从美国南部学术诊所收集的大规模电子健康记录数据，模仿临床试验，即“目标试验”，并为诊断患有急性细菌的患者开发了死亡率预测和ITE估计的机器学习模型皮肤和皮肤结构感染（ABSSI）是由于金黄色葡萄球菌（MRSA）引起的。 ABSSI-MRSA是一个充满挑战的疾病，治疗选择减少 - 万古霉素是首选的选择，但它具有不可忽略的副作用。首先，我们使用倾向评分匹配来模仿试验并创建随机治疗（万古霉素与其他抗生素）数据集。接下来，我们使用此数据来训练各种机器学习方法（包括增强/Lasso Logistic回归，支持向量机和随机森林），并通过引导验证选择接收器特征（AUC）下的面积最佳模型。最后，我们使用这些模型来计算ITE并通过改变治疗的变化来避免死亡。排出外测试表明，SVM和RF是最准确的，AUC分别为81％和78％，但BLR/Lasso不远（76％）。通过使用BLR/Lasso计算反事实，万古霉素增加了死亡的风险，但显示出很大的变化（优势比1.2，95％范围0.4-3.8），对结果概率的贡献是适度的。取而代之的是，RF在ITE中表现出更大的变化，表明更复杂的治疗异质性。

深度重新结合因实现最新的机器学习任务而被认可。但是，这些体系结构的出色性能取决于培训程序，需要精心制作以避免消失或爆炸梯度，尤其是随着深度$ l $的增加。关于如何减轻此问题，尚无共识，尽管广泛讨论的策略在于将每一层的输出缩放为$ \ alpha_l $。我们在概率环境中显示标准I.I.D.初始化，唯一的非平凡动力学是$ \ alpha_l = 1/\ sqrt {l} $（其他选择导致爆炸或身份映射）。该缩放因子在连续的时间限制中对应于神经随机微分方程，这与广泛的解释相反，即深度重新连接是神经普通微分方程的离散化。相比之下，在后一种制度中，具有特定相关初始化和$ \ alpha_l = 1/l $获得稳定性。我们的分析表明，与层指数的函数之间的缩放比例和规律性之间存在很强的相互作用。最后，在一系列实验中，我们表现出由这两个参数驱动的连续范围，这在训练之前和之后会共同影响性能。